Brown sinh ra ở Hawkhurst, Kent và lớn lên ở Tunbridge Wells gần đó, theo học trường ngữ pháp Tunbridge Wells dành cho nam[3] trước khi học tại Đại học Manchester. Sau khi tốt nghiệp, ông làm việc trong ngành quảng cáo cho Procter & Gamble, nhưng năm 1978, ông chuyển sang làm cố vấn pháp lý cho Khu vực phía Bắc của GMBATU, có trụ sở tại Newcastle upon Tyne. Năm 1980, ông được bầu vào Hội đồng thành phố Newcastle, đại diện cho phường Walker. Vai trò của ông trong công đoàn đã cho ông một vai trò trong việc tối đa hóa ảnh hưởng của công đoàn trong các lựa chọn của Đảng Lao động.[cần dẫn nguồn]